Power等人报道的\ emph {grokking现象} {power2021grokking}是指一个长期过度拟合之后，似乎突然过渡到完美的概括。在本文中，我们试图通过一系列经验研究来揭示Grokking的基础。具体而言，我们在极端的训练阶段（称为\ emph {slingshot机构）发现了一个优化的异常缺陷自适应优化器。可以通过稳定和不稳定的训练方案之间的循环过渡来测量弹弓机制的突出伪像，并且可以通过最后一层重量的规范的循环行为轻松监测。我们从经验上观察到，在\ cite {power2021grokking}中报道的无明确正规化，几乎完全发生在\ emph {slingshots}的开始时，并且没有它。虽然在更一般的环境中常见且容易复制，但弹弓机制并不遵循我们所知道的任何已知优化理论，并且可以轻松地忽略而无需深入研究。我们的工作表明，在培训的后期阶段，适应性梯度优化器的令人惊讶且有用的归纳偏见，要求对其起源进行修订。
translated by 谷歌翻译
肺超声（LUS）可能是唯一可用于连续和周期性监测肺的医学成像方式。这对于在肺部感染开始期间跟踪肺表现或跟踪疫苗接种对肺部的影响非常有用，如Covid-19中的肺部作用。有许多尝试将肺严重程度分为各个类别或自动分割各种LUS地标和表现形式的尝试。但是，所有这些方法均基于训练静态机器学习模型，该模型需要大量临床注释的大数据集，并且在计算上是沉重的，并且大部分时间非现实时间。在这项工作中，提出了一种实时重量的基于活跃的学习方法，以在资源约束设置中在COVID-19的受试者中更快地进行分类。该工具基于您看起来仅一次（YOLO）网络，具有基于各种LUS地标，人工制品和表现形式的标识，肺部感染严重程度的预测，基于主动学习的可能性，提供图像质量的能力。临床医生的反馈或图像质量以及对感染严重程度高的重要框架的汇总，以进一步分析。结果表明，对于LUS地标的预测，该提议的工具在联合（IOU）阈值的交叉点上的平均平均精度（MAP）为66％。在Quadro P4000 GPU运行时，14MB轻量级Yolov5S网络可实现123 fps。该工具可根据作者的要求进行使用和分析。
translated by 谷歌翻译
今天消费者提供的各种数字付款选择是过去十年的电子商务交易的关键驱动因素。不幸的是，这也升起了网络犯罪分子和欺诈者，通过部署日益复杂的欺诈攻击，在这些系统中不断寻找漏洞。典型的欺诈检测系统采用标准的监督学习方法，重点是最大化欺诈召回率。但是，我们认为这种配方可以导致次优的解决方案。这些欺诈型号的设计要求要求它们对数据中的高级不平衡具有强大，适应欺诈模式的变化，维持欺诈率与下降率之间的平衡，以最大限度地提高收入，并可均可用于异步反馈由于通常在交易和欺诈意识之间存在显着的滞后。为实现这一目标，我们将欺诈检测作为奖励功能中模型内的实用性最大化作为顺序决策问题。历史下降率和欺诈率定义了由批准或拒绝交易的二进制动作空间的系统状态。在这项研究中，我们主要关注实用的最大化并探索此目的不同的奖励功能。已经使用深度Q-Learning进行了两种公开的欺诈数据集，并与不同的分类器相比，已经评估了拟议的欺诈数据集。我们的目标是在未来的工作中解决其余问题。
translated by 谷歌翻译
原子学模拟现在已经成为理解原子尺度材料变形机制的不可或缺的工具。定期使用大规模模拟来研究纳米级的多晶材料的行为。在这项工作中，我们提出了一种使用无监督机器学习算法的原子配置的晶粒分割方法，该算法基于其取向基于各个颗粒将原子簇簇簇。所提出的方法，称为oriSodata算法，基于迭代自组织数据分析技术，并被修改为在方向空间中工作。在两个未变形和变形状态下，在122粒纳米晶薄膜样品上证明了算法的工作。 ORISODATA算法也与开源可视化工具OVITO中可用的另外两种颗粒分段算法进行比较。结果表明，Orisodata算法能够正确地识别变形双胞胎以及由低角度晶界分开的区域。模型参数具有直观的物理含义，并与实验中使用的类似阈值相关，这不仅有助于获得最佳值，而且还有助于轻松解释和验证结果。
translated by 谷歌翻译